Consensus as Privileged Context for Label-Free Self-Distillation
共识作为特权上下文实现无标签自蒸馏
🧭 无标签自蒸馏 · 共识锚定 ★ 深度解读
ILLC, University of Amsterdam · ILCC, University of Edinburgh
用多票共识充当特权上下文，将投票信号转化为逐token的密集监督，替代RL并接近带标签蒸馏
📌 工作参考价值（4 点）
- 在无标注的推理场景（如电商搜索对话/商品理由生成）中，可通过采样多个回复、多数投票提取共识答案，将对应的高置信回复作为教师上下文进行自蒸馏，实现无黄金答案的模型提升
- 采用JSD散度进行全词表分布蒸馏，比硬标签SFT保留更多信息，且能利用非共识rollout中的差异信号，适合处理模糊或长尾输出
- 冻结教师快照，避免共享参数训练时迅速崩塌的问题，是低成本稳定蒸馏的关键工程技巧
- 一次采样同时获得投票结果和蒸馏数据，训练仅一个epoch，在精度-计算量前沿上显著优于TTRL等RL方案，适合资源受限的线上业务快速迭代